BUND^REPUBLIK DEuEcHLAND 



o 


Prioritatsbescheinigung liber die EInreichung 
einer Patentanmeldung 


Aktenzeichen: 
Anmetdetag: 
Anmelder/lnhaber: 
Bezeichnung: 

IPC: 


10Q31 746.4 


29. Juni 2000 


CERTIFIED COPY OF 
PRIORIJY DOCUMENT 


Leica Mikroskopie und Systeme GmbH, Wetzlar/DE 


Verfahren und Anordnung zur Anpassung der latera- 
len und zeitlichen Auflosung eines Mikroskopbildes 


G 02 B 21/00 


Die angehefteten Stucke sind eine richtige und genaue Wiedergabe der urspriing- 
lichen Unterlagen dieser Patentanmeldung. 


Munchen, den 20. April 2001 
Deutsches Patent- und Markenamt 
Der President 

Im Auftrag 


A- 



A 9161 

02/00 


A 2802 DE 
27.06.2000 


1 


Verfahren und Anordnung zur Anpassunq der lateralen und zeitlichen 
Auflosung eines Mikroskopbildes 


Die Erfindung betrifft ein Verfahren zur Anpassung der lateralen und zeitlichen 
Auflosung eines Mikroskopbildes. 

5 Ferner betrifft die Erfindung eine Anordnung zur Anpassung der lateralen und 
zeitlichen Auflosung eines Mikroskopbildes. 

Lichtoptische Bildgeber, wie z.B. Mikroskope erzeugen die Bildergebnisse 
zweidimensional und ohne Zeitliche Verzogerung. Es ist eine herkommliche 
Verfahrensweise, dass die aufgenommenen Bilder zwecks analoger oder 
10 digitaler Weiterverarbeitung in elektronische Signale umgewandelt werden. 
Dabei tritt wegen der begrenzten Ubertragungs-Bandbreite eine zusatzliche 
Begrenzung in lateraler und/oder zeitlicher Auspragung ein. Diese 
Begrenzung tritt besonders bei grofJen Ubertragungsstrecken 
(Telennikroskopie) oder bei Ubertragungskanalen mit geringer Bandbreite auf. 

15 Der Benutzer hat dabei die Wahlmoglichkeit, zwischen hoher lateraler 
Auflosung oder hoher Bildwechselfrequenz. 

Das Patent US-A-5, 21 6,596 offenbart ein Telepthologie-System. Eine 
Arbeitsstation ist an einem entfernten Ort aufgestellt und empfangt Bilder von 
einem Praparat (Gewebe), das mir einem Mikroskop untersucht wird. Die 

20 mikroskopischen Bilder werden mit einer herkommlichen Video Kamera 
aufgenommen und an dem entfernten Ort auf einem herkommlichen 
Videomonitor dargestellt. Es erfolgt nach der Bildaufnahme eine 
Digitalisierung oder eine Kodierung der Bilddaten. Das hier vorgestellte 
System ist an analoge Ubertragungsstrecken gebunden und kann in einem 

25 herkommlichen digitalen Netzwerk nicht die benotigte Auflosung erreichen. 
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Das System zeigt keine Moglichkeit zur Reduzierung entsprechender 
Auflosungen, urn somit eine Anpassung an die gerade zurVerfugung 
stehenden Bandbreiten zu ermoglichen. 

Es ist Aufgabe der Erfindung ein Verfahren zu schaffen, das 
5 benutzerfreundlich die Umschaltung zwisclien unterschiedlichen Betriebsarten 
(Standbild oder Video-Conferencing) vornimmt. 

Diese Aufgabe wird gelost durch ein Verfahren, dass durcin die folgenden 
Schritte gekennzeichnet ist: 

a) Erfassen von Veranderungen des aktuell ubertragenen Bildfensters 
10 uber Veranderungen der Einstellungen des Mikroskops; 

b) Unnschalten auf einen Ubertragungsmodus fur Video-Conferencing; 

c) Aufzeichnen der Zeit, die seit der letzten Anderung der Einstellungen 
des Mikroskops vergangen sind, und 

d) Umschalten auf den Ubertragungsmodus fur Standbilder, wenn eine 
15 gewisse Zeitgrenze uberschritten Ist. 

Eine weitere Aufgabe der Erfindung ist es eine Anordnung zu schaffen, die die 
verfugbare Bandbreite der Ubertragungskanale optimal ausnutzt und anpasst, 
ohne dass hierzu Eingaben des Benutzers erforderlich sind. 

Diese Aufgabe wird durch eine Anordnung gelost, die dadurch 
20 gekennzeichnet ist, dass 

• Mittel zur Erfassung der Anderungen des Bildinhaltes eines 
mikroskopischen Bildes, 

• elektronische Mittel zur Begrenzung des Bildinhaltes aufgrund 
der von dem Mittel zur Erfassung der Anderung des Bildinhaltes 

25 gelieferten Daten, und 

• Mittel zum automatischen Umschalten auf den zu den erfassten 
Anderungen des Bildinhaltes passenden Ubertragungsmodus 
vorgesehen sind. 

Ein Vorteil der Erfindung ist, dass nach dem Aufbau eines Bildes, das langere 
30 Zeit steht, keine Bildauffrischungen erforderlich sind. Hier kann die verfugbare 
Bandbreite der Ubertragungskanale voll ausgenutzt werden und ein Benutzer 
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an der entfernt angeordneten Station kann das vom Mikroskop 
aufgenommene Bild mit der besten Auflosung betrachten. Will der Benutzer 
nun auf sine andere Stelle des Praparats verfahren, kann er dies z.B. von der 
entfernten Station aus tun, Er kann hierzu Abbildungsparameter, wie z.B. 
5 VergrofJerung, Scharfstellung und/oder Position des XA'-Tisches 

entsprechend anpassen. Eine andere Moglichkeit besteht darin, dass die 
Mikroskopparameter manuell verandert werden und entsprechende Mittel am 
Ort des Mikroskops vorgesehen sind, die diese Anderung erfassen. Die 
Anordnung (beim automatischen Mikroskop) kann diese Anderungen ermittein 
10 und stellt dann automatisch auf einen anderen Ubertragungsmodus um, der 
bevorzugt an die Bandbreite des zur Ubertragung benutzten Netzwerks 
angepasst ist. 

Sobald Manipulationen an Objekt (Praparat) oder dem Abbildungssystem des 
Mikroskops vorgenommen werden: z.B. Anderung des AbbildungsmafSstabs 

15 Oder des Bildausschnitts, reicht die fur eine schnelle Bildubertragungsrate bei 
hoher Auflosung erfdrderliche Bandbreite nicht aus. Um fur diesen Zeitraum 
hohere Bildwechselfrequenzen zu erreichen, wird gleichzeitig fur kurze Zeit 
auf einen Teil der lateralen und/oder farblichen Auflosung verzichtet. Die 
Anordnung wird in Abhangigkeit vom Eingangsbild (vom Mikroskop 

20 aufgenommenem Bild) automatisch auf einen anderen Ubertragungsmodus 
umgeschaltet. 

Der Ubertragungsmodus mit der grofttmoglichen lateralen und farblichen 
Objekttreue wird als Standbildubertragung bezeichnet. Der Modus mit 
beschrankter lateraler und/oder farbliche Auflosung wird als Video- 
25 Conferencing bezeichnet. 

Die Umschaltung zwischen Standbildubertragung und Video-Conferencing 
geschieht automatisch aufgrund der Erfassung der Objektbewegung bzw. der 
Anderung der instrumenteneinsteilung. 

Diese Erfassung geschieht auf folgende Weise: 

30 • Bei motorisch gesteuerten Bewegungen erfolgt die Meldung der 

Bewegung durch das steuernde System. 
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• Bei manueller Objektverschiebung erfasst ein MefSsystem die 
Veranderung. 

• Die elektronischen Signale des Bildes werden auf inhaltliche 
Veranderung analysiert. 

5 Wird durch eine der o.g. Methoden eine Veranderung festgestellt, schaltet das 
Ubertragungssystem auf die Betriebsart, „Video-Confencing" (schneller 
Bildwechsel) um. 

Bleibt der Bildinhalt uber einen definierten Zeitraum unverandert, wird auf die 
Betriebsart „Standbild" (hohe Auflosung) umgeschaltet. Der definierte 
10 Zeitraum kann ein bestinnmtes Zeitintervall sein, das in einem Timer 
installierbar ist. 

In der Zeichnung ist der Erfindungsgegenstand schematisch dargestellt und 
wird anhand der Figuren nachfolgend beschrieben. Dabei zeigen: 


15 Fig. 1 eine systematische Darstellung eines Systems, bei dem die 

Erfindung Verwendung findet, 

Fig. 2 eine schematisclie Darstellung der Anordnung, die die 

Umschaltung zwischen den einzelnen Ubertragungsmodi bei einem manuellen 
Mikroskop ermoglicht, und 

20 Fig. 3 eine schematische Darstellung der Anordnung, die die 

Umschaltung zwischen den einzelnen Ubertragungsmodi bei einem 
automatischen Mikroskop ermoglicht. 


Das in Fig. 1 dargestellte System 1 besteht aus einem Mikroskop 2, das an 
25 einem Ort aufgestellt ist, an dem die zu untersuchenden Praparate 
(Gewebeschnitte) hergestellt werden. Der Ort ist in der Regel eine 
histologische oder pathologische Abteilung eines Krankenhauses. Dem 
Mikroskop 2 ist ein erster Rechner 4 mit einem Bildschirm 5 zugeordnet. Ein 
zweiter Rechner 6, ebenfalls mit einem Bildschirm 7, ist mit dem ersten 
30 Rechner 4 uber ein herkommliches Netzwerk 8 verbunden. In Fig. 1 ist das 
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Netzwerk durch eine Verbindungsleitung dargestellt, die eine unterbrochene 
Stelle 8a besitzt, um besser zu verdeutlichen, dass der zweite Rechner 6 im 
Prinzip beliebig weit entfernt von dem ersten Rechner 4 installiert sein kann. 

In dem hier dargestellten Ausfuhrungsbeispiel ist das Mikroskop 2 als ein 
5 automatisches Mikroskop ausgebildet. Alle Abbildungsparameter des 

Mikroskops 2 konnen z.B. von dem zweiten Rechner 6 aus eingestellt und 
verandert werden. In diesem Falle besitzt das Mikroskop 2 entsprechende 
Motoren zur Einstellung der Parameter. In Fig. 1 ist ein Motor 10 dargestellt, 
der das Verschieben eines X/Y-Tisches 12 ermoglicht. Motoren fur 
10 Veranderung des AbbildungsmafJstabes, das Verfahren des X/Y-Tisches 12 in 
Z-Richtung und/oder zur Fokussierung sind aus Grunden der Ubersichtlichkeit 
nicht dargestellt. Fur eine Fachmann ist jedoch die Anordnung und 
Verwendung dieser Motoren klar. 

Auf dem XA^-Tisch 12 ist ein Objekttrager 14 mit einem darauf praparierten 
15 Praparat 14a. Entsprechend der gewShlten VergrofSerung wird ein Bildfenster 
(nicht dargestellt) abgebildet und von einer Kamera 16 aufgenommen. Die 
Kamera 16 kann als herkommllche Video-Kamera Oder Digital-Kamera 
ausgestaltet sein. Die Kamera 16 ist uber eine Verbindung 17 mit dem ersten 
Rechner 4 verbunden. Zwischen dem ersten Rechner 4 und dem Mikroskop 2 
20 besteht eine weitere Verbindung 18, uber die Steuersignale an die 

entsprechenden Motoren gesendet werden. Die Steuersignale werden uber 
das Netzwerk 8 von dem zweiten Rechner 6 an den ersten Rechner 4 
ubermittelt. Ebenso werden uber das Netzwerk 8 die Bilddaten vom ersten 
Rechner 4 an den zweiten Rechner 6 ubermittelt. Beide Rechner 4 und 6 
25 konnen Jewells mit einem Modem 1 1 oder einer anderen digitalen 

Datenfernubertragung (DFU) versehen sein, das zum Verbindungsaufbau 
dient. Ferner ist mit jedem Rechner 4 und 6 eine Eingabeeinheit 20 fur 
Benutzereingaben verbunden. Die Eingabeeinheit 20, kann als Maus, Tastatur 
Oder als Sprachsteuereinheit ausgebildet sein. 

30 Wie bereits oben erwahnt, dient der erste Rechner 4 in der Regel dazu, die 
Bilddaten vom Mikroskop 2 aufzunehmen und fur den Transfer uber das 
Netzwerk 8 in ein entsprechendes Datenformat zu bringen. Ferner kann vom 
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ersten Rechner 4 auch eine Kompression der Bilddaten durchgefuhrt werden. 
Hinzu kommt, dass das Mikroskop 2 ebenfalls noch mit Positionsgebern (nicht 
dargestellt) ausgestattet ist, die an den ersten Rechner 4 Signale liefern, die 
uber die X-, Y- und Z-Position des XA'-Tisches 12 Information liefern. Ferner 
5 ist der erste Rechner 4 auch fur den Empfang der Daten vom zweiten 

Rechner 6 fur die Steuerung des Mikroskops 2 sowie deren Umsetzung in 
entsprechende Steuersignale zustandig. 

Fig. 2 ist eine schematische Darstellung einer Anordnung 21, die die 
Umschaltung zwischen den einzelnen Ubertragungsmodi bei einem manuellen 

10 Mikroskop ermoglicht. Wie bereit oben erwahnt, ermittelt ein rein manuelles 
Mikroskop 2 die Veranderungen der Mikroskopeinstellungen an Hand der 
aufgenommenen Bildinhalte. Die Anordnung 21 umfasst ein Mittel zur 
Bilddatenbearbeitung 22, einen Zwischenspeicher 24 ein Vergleichselement 
26, einen Timer 19 und ein Umschaltmittel 23. Von der Kamera erhalt das 

15 Mittel zur Bilddatenbearbeitung 22 ein Eingangsbild. Hierzu werden z.B. 

markante Bildstellen und deren Lage innerhalb eines festgelegten Bildfensters 
(nicht dargestellt) ermittelt. Diese Daten werden dem Zwischenspeicher 24 
zugefuhrt. Der Zwischenspeicher 24 ist in einen ersten und zweiten Teil 24i 
und 242 unterteilt. In dem ersten Teil 24i sind die Daten eines Vorgangerbildes 

20 gespeichert und im zweiten Teil 242 sind die Daten des aktuellen Bildes 

gespeichert. Im Vergleichselement 26 werden die Daten des aktuellen und 
des Vorgangerbildes verglichen. Dabei wird ein vom Timer 19 vorgegebenes 
Zeitintervall berucksichtigt. Werden im Vergleichselement 26 keine 
Abweichungen festgestellt, wird uber einen ersten Ausgang 25^ der 

25 Anordnung 20 ein Signal gesendet, dass weiterhin ein Standbild ubertragen 
werden soil. Bei einer Abweichung wird ein Signal an das Umschaltmittel 
gesendet, das daraufhin die Bilddaten des Eingangsbildes entsprechend der 
Bandbreite und der Ubertragungsgeschwindigkeit reduziert, um ein Livebild fur 
das Video-Conferencing zu erzeugen. Uber einen zweiten Ausgang 252 der 

30 Anordnung 20 wird das Livebild ausgegeben. 

Fig. 3 ist eine schematische Darstellung einer Anordnung 30, die die 
Umschaltung zwischen den einzelnen Ubertragungsmodi bei einem 
automatischen Mikroskop 2 ermoglicht. Die Anordnung 30 umfasst ein Mittel 
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zur Positionsdatenverarbeitung 32, einen Zwischenspeicher 34 ein 
Vergleichselement 36, einen Timer 31 und ein Umschaltmittel 33. Das Mittel 
zur Positionsdatenverarbeitung 32 besitzt mehrere Eingange 32i, 322, 32n, die 
Signale von der Position des XA^ Tisches 12, der Vergrofierung und der 
5 Scharfstellung liefern. Nach der Verarbeitung sind diese Daten fur die Position 
eines Bildfensters reprasentativ. Diese Daten werden dem Zwischenspeicher 
34 zugefuhrt. Im Vergleichselement 36 werden die Daten des aktuellen und 
des Vorgangerbildes, die im Zwischenspeicher 34 abgelegt sind, verglichen. 
Dabei wird ein vom Timer 31 vorgegebenes Zeitintervall berucksichtigt. 

10 Werden im Vergleichselement 36 keine Abweichungen festgestellt, wird uber 
einen ersten Ausgang 35i der Anordnung 30 ein Signal gesendet, dass 
weiterhin ein Standbild ubertragen werden soli, bzw. keine weitere 
Ubertragung eines Standbildes notwendig ist. Bei einer Abweichung wird ein 
Signal an das Umschaltmittel 33 gesendet, das daraufhin die Bilddaten des 

15 Eingangsbildes entsprechend der Bandbreite und der 

Ubertragungsgeschwindigkeit reduziert, um ein Livebild fur das Video- 
Conferencing zu erzeugen. Uber einen zweiten Ausgang 352 der Anordnung 
30 wird das Livebild ausgegeben. 

Die Erfindung wurde in Bezug auf eine besondere Ausfuhrungsform 
20 beschreiben. Es ist jedoch selbstverstandlich das Anderungen und 

Abwandlungen durchgefuhrt werden kbnnen, ohne dabei den Schutzbereich 
der nachstehenden Anspruche zu verlassen. 
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Bezuqszeichenliste 



2 

Mikroskop 


4 

erster Rechner 

5 

5 

Bildschirm 


6 

zweiter Rechner 


7 

Bildschirm 


8 

Netzwerk 


10 

IVIotor 

10 

11 

IVIodem 


12 

XA'-Tisches 


14 

Objekttrager 


14a 

Praparat 


16 

Kamera 

15 

17 

Verbindung 


18 

Verbindung 


19 

Eingabeeinheit 


20 

Anordnung 


21 

Timer 

20 

22 

IViittel zur Bilddatenbearbeitung 


23 

Umschaltmittel 


24 

Zwischenspeicher 


24n 

Zwischenspeicher erster Teil 


242 

Zwischenspeicher zweiter Teil 

25 

25i 

erster Ausgang 


252 

zweiter Ausgang 


A2802 DE 
27.06.2000 


9 


30 Anordnung 

31 Timer 

32 Mittel zur Positionsdatenverarbeitung 
32i, 322, 32n mehrere Eingange 

33 Umschaltmittel 

34 Zwischenspeicher 

351 erster Ausgang 

352 zweiter Ausgang 
36 Vergleichselement 
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Patentanspriiche 


1 .) Verfahren zur Anpassung der lateralen und zeitlichen Auflosung eines 
Mikroskopbildes, gekennzeichnet durch die folgenden Schritte: 

a) Erfassen von Veranderungen des aktuell ubertragenen Bildfensters 
uber Veranderungen der Einstellungen des Mikroskops (2); 

b) Umschalten auf einen Ubertragungsmodus fur Video-Conferencing; 

c) Aufzeichnen der Zeit, die seit der letzten Anderung der Einstellungen 
des Mikroskops (2) vergangen ist, und 

d) Umschalten auf den Ubertragungsmodus fur Standbilder, wenn eine 
gewisse Zeitgrenze uberschritten ist. 

2. ) Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das 
Erfassen der Veranderungen des aktuellen Bildfensters mittels einer 
Bildanalyse aus dem Vergleich zweier zeitlich nacheinander aufgenommener 
Mikroskopbilder erfolgt. 

3. ) Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die 
Veranderungen des aktuellen Bildfensters mittels eines automatischen 
Vergleichs der Position des Bildfensters zweier zeitlich nacheinander 
aufgenommener Mikroskopbilder erfolgt. 

4. ) Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei 
einem automatischen Mikroskop die zur Verstellung der Mikroskoparameter 
erforderlichen Signale erfasst werden und an Hand der Signale ermittelt wird, 
ob auf einen anderen Ubertragungsmodus umgeschaltet wird. 
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5. ) Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei 
einem automatischen Mikroskop mit manuellen Verstellmoglichkeiten, die 
Veranderungen im Bildfenster in Abhangigkeit von der Zeit registriert werden, 
und an Hand der Veranderungen als Funktion der Zeit ermittelt wird ob auf 

5 einen anderen Ubertragungsmodus umgeschaltet wird. 

6. ) Anordnung zur Anpassung der lateralen und zeitlichen 
Auflosung eines Mikroskopbildes dadurch gekennzeichnet, dass: 

• Mittel zur Erfassung der Anderungen des Bildinhaltes eines 
mikroskopischen Bildes, 

• elektronische Mittel zur Begrenzung des Bildinhaltes aufgrund 
der von dem Mittel zu Erfassung der Anderung des Bildinhaltes 
gelieferten Daten, und 

• Mittel zum automatischen Umschalten auf den zu den erfassten 
Anderungen des Bildinhaltes passenden Ubertragungsmodus 
vorgesehen sind. 

7. ) Anordnung nach Anspruch 7, dadurch gekennzeichnet, dass 
das Mittel zum Erfassen der Anderung ein Mittel zur Bilddatenbearbeitung (22) 

20 umfasst, das markante Bildstellen und deren Lage innerhalb eines 
festgelegten Bildfensters ermittelt. 

8. ) Anordnung nach Anspruch 7, dadurch gekennzeichnet, dass 
das Mittel zum Erfassen der Anderung ein Mittel zur 
Positionsdatenverarbeitung (32) ist, wobei das Mittel zur 
Positionsdatenverarbeitung (32) mehrere Eingange (32i, 322. 32n) umfasst, 
die Signale von der Position eines XA^ Tisches (12), der Vergrolierung und 
der Scharfstellung des Mikroskops (2) liefern. 


10 


15 



30 


■ 9.) Anordnung nach Anspruch 7 oder 8, dadurch gekennzeichnet, 
dass ein Timer (21, 31) vorgesehen ist, der mit einem Vergleichselement (26, 
36) verbunden ist, wobei das Vergleichselement (26, 36) aufgrund eines 
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bestimmten Zeitintervalls des Timers (21. 31) und des Ergebnisses des 
Vergleichs weiterhin ein Standbild an einem ersten Ausgang (25i, 35i) liefert. 

10.) Anordnung nach Anspruch 7 oder 8, dadurch gekennzeichnet, 
dass das Vergleichselement (26, 36) mit einem Umschaltmittel (23, 33) 
verbunden ist, das bei einer Abweichung im Vergleichselement (26, 36) das 
Umschaltmittel (23, 33) daraufhin die Bilddaten eines aktuellen 
Eingangsbildes entsprechend der Bandbreite und der 
Ubertragungsgeschwindigkeit reduziert, um ein Livebild fur das Video- 
Conferencing zu erzeugen. 
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Zusammenfassunq 


Das Verfahren zur Anpassung der lateralen und zeitlichen Auflosung 
eines Mikroskopbildes ermoglicht die Erfassung zeitlicher Anderungen des 
Bildinhaltes und schaltet aufgrund des Ermittlungsergebnisses auf einen 
anderen Ubertragungsmodus um. 

Die Anordnung zur Anpassung der lateralen und zeitlichen Auflosung eines 
Mikroskopbildes umfasst Mittel zur Erfassung der Anderungen des 
Bildinhaltes eines mikroskopischen Biides. Ferner sind elektronische Mittel zur 
Begrenzung des Bildinhaltes vorgesehen. Weitere Mittel ermoglichen das 
automatische Umschalten auf einen passenden Ubertragungsmodus. Das 
Mittel zum Erfassen der Anderung ist ein Mittel zur Bilddatenbearbeitung (22), 
das markante Bildstellen und deren Lage innerhalb eines festgelegten 
Bildfensters ermittelt. Ferner ist ein Vergleichselement (36) vorgesehen und 
mit einenn Umschaltmittel (33) verbunden. Bei einer Abweichung im 
Vergleichselement (36) reduziert das Umschaltmittel (33) daraufhin die 
Bilddaten eines aktuellen Eingangsbildes entsprechend der Bandbreite und 
der Ubertragungsgeschwindigkeit, um ein Livebild fur das Video-Conferencing 
zu erzeugen. 
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